Cassano sinh ngày 12 tháng 7 năm 1982 tại Bari[2], Ý. Mẹ ốm yếu và cha rời bỏ gia đình ngay khi Cassano chào đời, cậu bé Antonio phải vật lộn sống qua ngày ở khu phố nghèo Bari Vecchia. Sau khi khỏi bệnh, mẹ của Cassano làm lao công trường tiểu học nhưng sau đó từng bị bắt vì bán ma tuý, Antonio có cuộc sống sa đọa tới mức thường xuyên đánh lộn và phải vào đồn cảnh sát. Cuộc sống thiếu thốn cả về vật chất, tình cảm và giáo dục ấy là một trong những lý do sau này ảnh hưởng sâu sắc tới phong độ, lối sống và quan điểm chơi bóng của Cassano.

Tuy nhiên, tình yêu với trái bóng tròn tới với Cassano từ rất sớm. Cassano được gửi vào lớp đào tạo thể thao của tỉnh Apuila nhờ quen biết của một người cậu. Tài năng của cậu sớm nở rộ: năm 1998, Cassano được gọi vào đội tuyển U-15 Italia, sau đó là đội U-16 dù không qua một lớp đào tạo bóng đá chuyên nghiệp nào, nhờ vào sự phát hiện của một trong những người sẽ ảnh hưởng rất lớn tới sự nghiệp của anh sau này, Marcello Lippi - người khi đó là huấn luyện viên của Juventus và phụ trách đội trẻ Ý.